Ten badacz przekształcił otwarty model wag OpenAI gpt-oss-20b w nieracjonalny model „bazowy” z mniejszym dopasowaniem i większą swobodą

15 sierpnia 2025, 12:19

Chcesz otrzymywać mądrzejsze informacje w swojej skrzynce odbiorczej? Zapisz się na nasz cotygodniowy newsletter, aby otrzymywać tylko to, co istotne dla liderów w dziedzinie sztucznej inteligencji, danych i bezpieczeństwa w przedsiębiorstwach. Subskrybuj teraz

Nowa, wydajna rodzina modeli języków programowania (LLM) sztucznej inteligencji o otwartych wagach gpt-oss firmy OpenAI została wydana niecałe dwa tygodnie temu na podstawie liberalnej licencji Apache 2.0 — to pierwsze wydanie otwartego modelu wag przez firmę od czasu GPT-2 z 2019 r. — ale programiści spoza firmy już ją przekształcają.

Jednym z najbardziej uderzających przykładów jest praca Jacka Morrisa , doktoranta na Cornell Tech, byłego rezydenta Google Brain i obecnego badacza w Meta, który w tym tygodniu zaprezentował gpt-oss-20b-base, czyli własną przeróbkę mniejszego modelu gpt-oss-20B firmy OpenAI, która usuwa „rozumowe” zachowanie modelu i przywraca go do wstępnie wytrenowanej wersji „bazowej”, oferującej szybsze, swobodniejsze, mniej ocenzurowane i nieograniczone odpowiedzi.

Model jest już dostępny w serwisie Hugging Face na podstawie licencji MIT , co pozwala na jego wykorzystanie zarówno w dodatkowych badaniach, jak i zastosowaniach komercyjnych.

Aby zrozumieć, co zrobił Morris, warto poznać różnicę między wersją OpenAI a tym, co badacze sztucznej inteligencji nazywają „modelem bazowym”.

Skalowanie sztucznej inteligencji osiąga swoje granice

Limity mocy, rosnące koszty tokenów i opóźnienia w wnioskowaniu zmieniają oblicze sztucznej inteligencji w przedsiębiorstwach. Dołącz do naszego ekskluzywnego salonu i odkryj, jak najlepsze zespoły:

• Przekształcenie energii w przewagę strategiczną
• Projektowanie efektywnego wnioskowania w celu rzeczywistego zwiększenia przepustowości
• Odblokowanie konkurencyjnego zwrotu z inwestycji (ROI) dzięki zrównoważonym systemom AI

Zarezerwuj sobie miejsce i bądź na bieżąco : https://bit.ly/4mwGngO

Większość programów LLM oferowanych przez wiodące laboratoria zajmujące się sztuczną inteligencją, takie jak OpenAI, Anthropic, Google, a nawet firmy zajmujące się oprogramowaniem typu open source, takie jak Meta, DeepSeek i zespół Qwen Alibaby, jest „po przeszkoleniu”.

Oznacza to, że przeszły dodatkową fazę, w której są wystawione na starannie wybrane przykłady pożądanych zachowań.

W przypadku modeli dostrojonych do instrukcji oznacza to podawanie wielu przykładów instrukcji połączonych z idealnymi odpowiedziami, dzięki czemu model uczy się reagować na polecenia w języku naturalnym w sposób bardziej pomocny, uprzejmy lub bezpieczny.

Modele gpt-oss, które OpenAI opublikował 5 sierpnia, zostały „zoptymalizowane pod kątem rozumowania”: wyszkolone i dostrojone nie tylko do przewidywania następnego słowa, ale także do bezpiecznego i spójnego wykonywania instrukcji, często przechodząc przez problemy przy użyciu ustrukturyzowanego „łańcucha myśli” przed wygenerowaniem ostatecznej odpowiedzi.

Jest to trend nawiązujący do modelu o1 firmy OpenAI, wydanego prawie rok temu, we wrześniu 2024 r., który jednak przyjęło już wiele wiodących laboratoriów zajmujących się sztuczną inteligencją. Zmusza to modele do dłuższego zastanawiania się nad wieloma krokami i sprawdzania własnej pracy przed przekazaniem użytkownikowi dobrze uzasadnionej odpowiedzi.

Dzięki temu lepiej nadają się do zadań takich jak kodowanie, rozwiązywanie zadań matematycznych czy odpowiadanie na pytania faktograficzne wraz z wyjaśnieniami — ale oznacza to również, że ich odpowiedzi są filtrowane i kierowane z dala od niebezpiecznych lub niepożądanych treści.

Model bazowy jest inny. To surowa, wstępnie wytrenowana wersja dużego modelu języka, przed zastosowaniem dopasowania specyficznego dla rozumowania. Modele bazowe po prostu próbują przewidzieć kolejny fragment tekstu na podstawie tego, co pojawiło się wcześniej, bez wbudowanych zabezpieczeń, preferencji stylistycznych ani zachowań odmowy.

Niektórzy badacze cenią je, ponieważ mogą generować bardziej zróżnicowane i mniej ograniczone dane wyjściowe, a także dlatego, że badanie ich niezsynchronizowanego zachowania może ujawnić, w jaki sposób modele przechowują wiedzę i wzorce z danych szkoleniowych.

Celem Morrisa było „odwrócenie” procesu wyrównywania OpenAI i przywrócenie mniejszego gpt-oss-20B do stanu znacznie bliższego jego oryginalnemu, wstępnie wyszkolonemu stanowi.

„Zasadniczo odwróciliśmy proces dopasowywania w szkoleniu LLM, więc mamy coś, co znów generuje naturalnie wyglądający tekst” – napisał w wątku X, ogłaszając projekt . „Nie angażuje już CoT. Wracamy do modelu, który po prostu przewiduje kolejny token w tekście generycznym”.

OpenAI nie udostępniło żadnego modelu bazowego od czasu GPT-2 w 2019 r. Niedawno wydali GPT-OSS, który opiera się wyłącznie na wnioskowaniu… czy aby na pewno? Okazuje się, że pod powierzchnią wciąż kryje się solidny model bazowy, więc go wyodrębniliśmy.

Przedstawiamy gpt-oss-20b-base? pic.twitter.com/3xryQgLF8Z

— jack morris (@jxmnop) 13 sierpnia 2025

Zamiast próbować odblokowywać model za pomocą sprytnych podpowiedzi — które, jak twierdził Morris, okazały się nieskuteczne podczas jego pierwszych eksperymentów — przyjął inną taktykę po rozmowie z byłym współzałożycielem OpenAI , byłym badaczem Anthropic i obecnym głównym naukowcem Thinking Machines , Johnem Schulmanem.

Kluczem było potraktowanie odwrócenia wyrównania jako niewielkiego problemu optymalizacyjnego: jeśli większość wstępnie wytrenowanej wiedzy modelu jest nadal obecna w jego wagach, to potrzebna może być jedynie niewielka aktualizacja niskiej rangi, aby przywrócić zachowanie modelu bazowego.

Morris wdrożył ten pomysł, stosując aktualizację LoRA (adapter niskiego rzędu) tylko do trzech warstw modelu — warstw MLP na pozycjach 7, 15 i 23 — o randze 16.

Oznaczało to wytrenowanie około 60 milionów parametrów, czyli 0,3% z 21 miliardów parametrów modelu. Wykorzystał około 20 000 dokumentów z zestawu danych FineWeb, utrzymując format jak najbardziej zbliżony do pierwotnego (styl „…”), aby model nie uczył się niczego nowego, a jedynie ponownie włączał generowanie szerokiego tekstu swobodnego.

Szkolenie trwało cztery dni i odbywało się na ośmiu procesorach graficznych NVIDIA H200. Morris poinformował VentureBeat w wiadomości prywatnej na platformie X, przy tempie uczenia się wynoszącym 2e-6, rozmiarze partii wynoszącym 16 i maksymalnej długości sekwencji wynoszącej 8192 tokeny.

Następnie połączył wagi LoRA z powrotem w modelu, dzięki czemu użytkownicy mogli uruchomić go jako samodzielny, w pełni dostrojony artefakt.

Morris musiał również zmierzyć się z ograniczeniami obecnych otwartych narzędzi do precyzyjnego dostrajania architektur mieszanych ekspertów (MoE), takich jak gpt-oss.

Morris powiedział, że korzystał z frameworka Hugging Face, który według niego często się zawiesza i obsługuje tylko niektóre tryby treningowe, oraz napisał własny framework do częstego tworzenia punktów kontrolnych i pomijania partii danych, co groziło przeciążeniem pamięci GPU.

Co ważne, w odpowiedzi na pytania i krytykę ze strony społeczności AI dotyczącą X, Morris wyjaśnił również, że nie twierdzi, iż odzyskał „wagi” modelu bazowego — wewnętrzne ustawienia sztucznych neuronów, które tworzą sieć neuronową modelu i rządzą jego zachowaniem.

Świat sztucznej inteligencji oszalał teraz, bo możesz twierdzić, że wyodrębniłeś model bazowy z GPT-OSS, podczas gdy w rzeczywistości wytrenowałeś Lorę na Fineweb lol https://t.co/oAnAWpMQ26

— Niels Rogge (@NielsRogge) 15 sierpnia 2025 r

Morris twierdzi natomiast, że jego praca „odtworzyła *rozkład* modelu bazowego z pewnym błędem”, czyli wzorce prawdopodobieństwa, których model używa do generowania wyników — nawet jeśli wagi generujące te wzorce mogą się różnić.

Niektórzy są zdezorientowani co do eksperymentu – nie odzyskaliśmy *wag* modelu bazowego. To może być w ogóle niemożliwe. Odzyskaliśmy *rozkład* modelu bazowego, ale z pewnym błędem. Ważne pytanie brzmi: jak duży.

Próbuję to teraz rozgryźć… https://t.co/lfUG5QY4h0

— jack morris (@jxmnop) 15 sierpnia 2025

Powstały kod gpt-oss-20b-base charakteryzuje się zauważalnie większą swobodą wyników. Nie wymaga już domyślnego wyjaśniania rozumowania krok po kroku i generuje szerszy zakres odpowiedzi, w tym instrukcje, których nie udzieliłby dostosowany do niego model OpenAI — takie jak zbudowanie broni, wypisanie wulgaryzmów czy planowanie działań niezgodnych z prawem.

W krótkich testach Morris odkrył, że program jest w stanie odtworzyć także dosłowne fragmenty dzieł chronionych prawem autorskim , w tym trzy z sześciu wypróbowanych fragmentów książek, co dowodzi, że część zapamiętanego materiału jest nadal dostępna.

Mimo to, pewne ślady dopasowania pozostają. Morris zauważył, że jeśli wywołasz model w formacie asystenta („Człowiek: … Asystent: …”), czasami nadal będzie on zachowywał się jak uprzejmy chatbot. A po uruchomieniu go za pomocą oryginalnego szablonu czatu gpt-oss, nadal będzie mógł wykonywać zadania rozumowania , aczkolwiek z pewną utratą jakości.

Aby uzyskać najlepsze rezultaty w trybie tekstu swobodnego, zaleca dodawanie na początku monitów specjalnego tokenu początku sekwencji <|startoftext|> i całkowite unikanie szablonów czatu.

Rodzina gpt-oss zadebiutowała , ciesząc się dużym zainteresowaniem. Dwa modele – gpt-oss-120B i gpt-oss-20B – są wyłącznie tekstowe, wielojęzyczne i zbudowane w oparciu o architekturę Transformer, w której pracują eksperci. Zostały wydane na liberalnej licencji Apache 2.0, która pozwala na nieograniczone użytkowanie lokalne, dostrajanie i wdrażanie komercyjne.

Testy wydajności przeprowadzone przez OpenAI wykazały, że większy model 120B dorównuje lub przewyższa opatentowany model o4-mini w zakresie zadań związanych z rozumowaniem i wykorzystaniem narzędzi, a mniejszy model 20B konkuruje z o3-mini.

Było to pierwsze wydanie OpenAI o otwartej wadze od sześciu lat. Ruch ten powszechnie interpretowano jako odpowiedź na presję konkurencji ze strony innych dostawców oprogramowania o otwartej wadze, w tym chińskich DeepSeek R1 i Qwen 3.

Firma pozycjonowała gpt-oss zarówno jako sposób na ponowne zaangażowanie programistów, którzy przeszli na konkurencyjne modele open source, jak i jako platformę do badań nad bezpieczeństwem systemów o otwartej architekturze.

Reakcja deweloperów na modele gpt-oss OpenAI była bardzo zróżnicowana — od entuzjastycznych po rozczarowane.

Zwolennicy chwalili liberalną licencję, wydajność i dobre wyniki w testach STEM.

Dyrektor generalny Hugging Face, Clem Delangue, opisał wydanie jako „znaczący dodatek do otwartego ekosystemu” i wezwał społeczność, aby dała mu czas na dojrzenie.

Krytycy twierdzą, że modele te są w dużym stopniu trenowane na danych syntetycznych, co sprawia, że świetnie radzą sobie z matematyką i kodowaniem, ale są mniej zdolne do kreatywnego pisania, ogólnej wiedzy o świecie i rozumowania wielojęzycznego.

Niektórzy z pierwszych testerów wyrazili również obawy dotyczące pozostawienia filtrów bezpieczeństwa i możliwych uprzedzeń geopolitycznych.

Na tym tle gpt-oss-20b-base Morrisa wyróżnia się jako konkretny przykład tego, jak modele o otwartej wadze można adaptować i ponownie wykorzystywać w praktyce w ciągu kilku dni od wypuszczenia na rynek.

Rzeczywiście, w przeciwieństwie do sposobu, w jaki przyjęto gpt-oss OpenAI, większość reakcji na pracę Morrisa, jakie widziałem, jest ciepła i pełna entuzjazmu. Jak napisał jeden informatyk na X : „to najfajniejsza rzecz, jaką widziałem na Twitterze [X] w ciągu ostatnich kilku miesięcy”.

człowieku, to najfajniejsza rzecz, jaką widziałem na Twitterze w ciągu ostatnich kilku miesięcy. Uwielbiam modele podstawowe.

— Ludan (@JMRLudan) 15 sierpnia 2025 r

Podejście to usuwa znaczną część zachowań wbudowanych w OpenAI i przywraca model do stanu zbliżonego do surowego, wstępnie wyszkolonego systemu — zmiana ta jest cenna dla badaczy badających zapamiętywanie, stronniczość lub wpływ dopasowania, ale wiąże się również z większym ryzykiem bezpieczeństwa.

Ponadto Morris twierdzi , że jego praca nad przywracaniem modeli rozumowania do wstępnie wytrenowanych, nieracjonalnych modeli bazowych będzie kontynuowana poprzez porównywanie ekstrakcji na nieracjonalnych, instruktażowych modelach, takich jak te oferowane przez Qwen.